台交大随机过程 Lecture 1

课程主页：https://ocw.nctu.edu.tw/course_detail.php?bgid=8&gid=0&nid=558

老师主页：http://shannon.cm.nctu.edu.tw/

课程视频：https://www.bilibili.com/video/BV1sW411U7xK?from=search&seid=2411740640027894887，

https://www.youtube.com/watch?v=IsQSWVbAKy0&list=PLj6E8qlqmkFvw7Rt63yBqai2HmPKF0V0J

之前学习随机过程的时候感觉学校的教材不太好，后续工作中应该还需要使用相关知识，所以网上找了一些资料，最后选择台交大陈伯宁老师的课程。

这次回顾第一讲，主要是一些基本概念，对应视频0-4。

基本定义

随机变量

概率空间$(S, \mathcal{F}, P)$（其中$\mathcal F$是$\sigma$域，$P$是定义在$\mathcal F$中事件的概率测度）上的随机变量是实值函数$\boldsymbol{x}(\zeta)$（即$\mathcal x:S\to \mathscr \Re$），该函数满足如下性质，对于任意$x\in \Re$，都有$\{\zeta \in S: \boldsymbol{x}(\zeta) \leq x\} \in \mathcal{F}$

$\sigma$域

集合$\mathcal F$是样本空间$S$的$\sigma$域，如果满足满足如下条件：

$\varnothing \in \mathcal F, S\in \mathcal F$
$A \in \mathcal{F} \Rightarrow A^{c} \in \mathcal{F}$
$A_{i} \in \mathcal{F}, i=1,2,3,\ldots \Rightarrow \bigcup_{i=1}^{\infty} A_{i} \in \mathcal{F}$

概率测度

在可测空间$(S,\mathcal F)$上的集合函数$P$是概率测度，如果它满足：

$0 \leq P(\mathcal{A}) \leq 1 \text { for } \mathcal{A} \in \mathcal{F}$
$P(\emptyset)=0 \text { and } P(S)=1$
如果$\mathcal{A}_{1}, \mathcal{A}_{2}, \ldots$是$\mathcal F$中不交序列，那么
$P\left(\bigcup_{k=1}^{\infty} \mathcal{A}_{k}\right)=\sum_{k=1}^{\infty} P\left(\mathcal{A}_{k}\right)$

随机向量

概率空间$(S, \mathcal{F}, P)$上的随机向量是实值函数$\boldsymbol{x}: S \rightarrow \Re^{k}$，该函数满足$\left\{\zeta \in S: \boldsymbol{x}(\zeta) \leq x^{k}\right\} \in \mathcal{F}$，其中$\left[x^{k} \leq y^{k}\right] \triangleq\left[x_{1} \leq y_{1}, x_{2} \leq y_{2}, \cdots, x_{k} \leq y_{k}\right]$

随机过程

随机过程是随机变量的指标族$\{x(t), t \in \mathcal{I}\}$，每个$x(t)$定义在相同的概率空间。

备注：$\boldsymbol{x}(t)$是$\boldsymbol{x}(t, \zeta)$的简写。固定$\zeta$，$x(t,\zeta)$是确定性函数；固定$t$，$x(t,\zeta)$是随机变量。

补充讨论

利用上述定义

所有有限（或无穷无穷）维的联合分布都得到了很好的定义，而没有列出所有维度的繁琐过程。
然而反之则不成立，即通过提供样本的所有有限维联合分布来完全确定真实随机过程的统计属性并不一定有效。

第二点的含义是任意有限维的联合分布无法确定随机过程，来看具体例子。

定义随机过程$\{\boldsymbol{x}(t), t \in[0,1)\},\{\boldsymbol{y}(t), t \in[0,1)\}$：

$\begin{aligned} \boldsymbol{x}(t, \zeta)&=\begin{cases} 1, \zeta \neq t \\ 0, \zeta=t \end{cases} \\ y(t, \zeta)&=1 \end{aligned}$

其中$\zeta \in S=[0,1)$，对任意$A\in \mathcal F$，定义$P(A)=\int_{A} d \alpha$，那么

$\begin{aligned} \operatorname{Pr}\left[\min _{t \in[0,1]} \boldsymbol{x}(t)<1\right] &=P(\{\zeta \in S: \underbrace{\min _{t \in[0,1)} \boldsymbol{x}(t, \zeta)}_{=x(\zeta, \zeta)=0}<1\})=P(S)=1\\ \operatorname{Pr}\left[\min _{t \in[0,1)} \boldsymbol{y}(t)<1\right] &=P\left(\left\{\zeta \in S: \min _{t \in[0,1)} \boldsymbol{y}(t, \zeta)<1\right\}\right)=P(\varnothing)=0 \end{aligned}$

所以这两个随机过程不相同。

接着考虑有限维的联合分布，首先我们有

$\left\{\zeta \in S: \boldsymbol{x}\left(t_{i}, \zeta\right) \leq x_{i}\right\}=\left\{\begin{array}{ll} S, & x_{i} \geq 1 \\ \left\{t_{i}\right\}, & x_{i}<1 \end{array}\right.$

那么

$\begin{array}{l} \operatorname{Pr}\left[\boldsymbol{x}\left(t_{1}\right) \leq x_{1} \text { and } \boldsymbol{x}\left(t_{2}\right) \leq x_{2} \text { and } \cdots \text { and } \boldsymbol{x}\left(t_{k}\right) \leq x_{k}\right] \\ =P\left(\bigcap_{i=1}^{k}\left\{\zeta \in S: \boldsymbol{x}\left(t_{i}, \zeta\right) \leq x_{i}\right\}\right) \\ =\left\{\begin{array}{l} 1, \min _{1 \leq i \leq k} x_{i} \geq 1 \\ 0, \text {otherwise } \end{array}\right. \\ =\operatorname{Pr}\left[\boldsymbol{y}\left(t_{1}\right) \leq x_{1} \text { and } \boldsymbol{y}\left(t_{2}\right) \leq x_{2} \text { and } \cdots \text { and } \boldsymbol{y}\left(t_{k}\right) \leq x_{k}\right] \end{array}$

说明任意有限维的联合分布相等。

复随机过程

复随机过程根据在相同概率空间上定义的两个实随机过程来确定。

一阶（二阶）分布函数

随机过程$x(t)$的一阶分布函数定义为

$F(x ; t) \triangleq \operatorname{Pr}[\boldsymbol{x}(t) \leq x]$

二阶分布函数定义为

$F\left(x_{1}, x_{2} ; t_{1}, t_{2}\right) \triangleq \operatorname{Pr}\left[\boldsymbol{x}\left(t_{1}\right) \leq x_{1} \text { and } \boldsymbol{x}\left(t_{2}\right) \leq x_{2}\right]$

一阶（二阶）密度

随机过程$x(t)$的一阶密度定义为

$f(x ; t) \triangleq \frac{\partial F(x ; t)}{\partial x}$

假定$F(x,t)$关于$x$可微，$x(t)$有密度。

二阶密度定义为

$f\left(x_{1}, x_{2} ; t_{1}, t_{2}\right) \triangleq \frac{\partial^{2} F\left(x_{1}, x_{2} ; t_{1}, t_{2}\right)}{\partial x_{1} \partial x_{2} }$

假定$F\left(x_{1}, x_{2} ; t_{1}, t_{2}\right)$关于$x_1,x_2$可微，$x(t)$在$t_1,t_2$有二阶密度。

均值

$\boldsymbol{x}(t)$的均值$\eta_{x}(t)$定义为

$\eta_{x}(t) \triangleq E[\boldsymbol{x}(t)]=\int_{-\infty}^{\infty} x f(x ; t) d x$

自相关函数

$\boldsymbol{x}(t)$的自相关函数$R_{x x}\left(t_{1}, t_{2}\right)$定义为

$R_{x x}\left(t_{1}, t_{2}\right) \triangleq E\left[\boldsymbol{x}\left(t_{1}\right) \boldsymbol{x}^{*}\left(t_{2}\right)\right]=\int_{-\infty}^{\infty} \int_{-\infty}^{\infty} x_{1} x_{2}^{*} f\left(x_{1}, x_{2} ; t_{1}, t_{2}\right) d x_{1} d x_{2}$

备注：自相关函数半正定。

平均能量

$E\left[\boldsymbol{x}(t) \boldsymbol{x}^{*}(t)\right] \triangleq E\left[|\boldsymbol{x}(t)|^{2}\right]=R_{x x}(t, t) \geq 0$

自协方差函数

$C_{x x}\left(t_{1}, t_{2}\right) \triangleq E\left[\left(\boldsymbol{x}\left(t_{1}\right)-\eta_{x}\left(t_{1}\right)\right)\left(\boldsymbol{x}\left(t_{2}\right)-\eta_{x}\left(t_{2}\right)\right)^{*}\right]=R_{x x}\left(t_{1}, t_{2}\right)-\eta_{x}\left(t_{1}\right) \eta_{x}^{*}\left(t_{2}\right)$

方差

$E\left[\left|\boldsymbol{x}(t)-\eta_{x}(t)\right|^{2}\right]=C_{x x}(t, t)$

互相关函数

$R_{x y}\left(t_{1}, t_{2}\right) \triangleq E\left[\boldsymbol{x}\left(t_{1}\right) {y}^{*}\left(t_{2}\right)\right]$

互协方差函数

$C_{x y}\left(t_{1}, t_{2}\right) \triangleq E\left[\left(\boldsymbol{x}\left(t_{1}\right)-\eta_{x}\left(t_{1}\right)\right)\left({y}\left(t_{2}\right)-\eta_{y}\left(t_{2}\right)\right)^{*}\right]=R_{x y}\left(t_{1}, t_{2}\right)-\eta_{x}\left(t_{1}\right) \eta_{y}^{*}\left(t_{2}\right)$